Tuy nhiên, vào thời điểm này, Tiền Tần sau thất bại trong trận Phì Thủy trước Đông Tấn đã liên tiếp có nội loạn và đứng trước nguy cơ tan rã, và mặc dù Phù Kiên muốn phong cho Lã Quang làm người cai quản Tây Vực song đã không thể chính thức bổ nhiệm Lã Quang. Khi đang ở Quy Từ, Lã Quang gặp hòa thượng Cưu Ma La Thập, Cưu Ma La Thập đã khuyên ông chống lại Tiền Tần, nói rằng Quy Từ là một vùng đất khổ hạnh và nếu như ông quay trở về phía đông, ông sẽ tìm thấy một quê hương ở trên đường. Lã Quang do đó đã bắt đầu quay về phía đông, mang theo những thứ mà ông đã cướp được ở Tây Vực.

Thứ sử Lương Châu (涼州, nay là trung bộ và tây bộ Cam Túc và đông bộ Tân Cương) là Lương Hi (梁熙), không đồng tình trước ý định của Lã Quang, đã tính đến việc đóng cửa biên giới và từ chối cho Lã Quang tiến vào. Quân sư của Lương Hi là Dương Hàn (楊翰) gợi ý rằng nên chia cắt Cao Ngô cốc (高梧谷, nay thuộc địa khu Turfan, Tân Cương) hay Y Ngô quan (伊吾關, nay thuộc địa khu Kumul, Tân Cương) để khiến quân của Lã Quang khát nước mà tự diệt song Lương Hi đã từ chối. Dương Hàn sau đó đã đầu hàng Lã Quang, Lã Quang nhanh chóng tiến về đô phủ Cô Tang (姑臧, nay thuộc Vũ Uy, Cam Túc) của Lương Châu, bắt được Lương Hy và nhanh chóng kiểm soát được gần hết Lương Châu. Trong vài năm sau đó, ông đã giao chiến với các quân phiệt địa phương. Đến mùa đông năm 386, khi hay tin về cái chết của Phù Kiên (Phù Kiên chết năm 385), ông đã cải niên hiệu thành Thái An, cũng có nghĩa là tuyên bố độc lập, mặc dù vậy, vào thời điểm đó ông không xưng tước vương hoặc đế nào. Năm 386 do đó thường được coi là thời điểm thành lập Hậu Lương.